Chỉ mấy hôm sau, Phan Nhiệm ở Hồ châu mưu phản, muốn lập Tế vương lên ngôi, kể tội Sử Di Viễn phế lập bừa bãi. Tế vương sợ việc không thành, nên đích thân cầm quân diệt trừ bọn Phan Nhiệm. Khi đó Sử Di Viễn sai Bành Nhâm đưa quân đến Hồ châu thì Tế vương đã dẹp loạn xong. Di Viễn lại tìm kế khác, nói Tế vương lâm bệnh, sai Dư Thiên Tích giả tiếng cùng ngự y đến chữa rồi bí mật giết chết Tế vương, phao là lâm bệnh qua đời.

Trong triều, các đại thần Chân Đức Tú, Ngụy Liễu Ông lên tiếng kêu oan cho hoàng tử Hoành. Di Viễn đùng đùng nổi giận, liền tiến cử bọn Lương Thành Đại, Lý Tri Hiếu, Mạc Trạch vào Gián viện để chuyên lo việc áp chế các đại thần, người đương thời gọi chúng là tam hung[10]. Di Viễn lại giật dây cho chúng hặc tội Chân Đức Tú, Ngụy Liễu Ông và Tế vương. Hai đại thần này cũng bị bãi chức. Bản thân Di Viễn được phong Thái sư, vẫn kiêm giữ chức Hữu Thừa tướng, Tri Xu mật, tiến tước Ngụy công; ông sáu lần từ chối. Năm 1226, được bái làm Thiếu sư, ban cho ngọc đái. Năm 1228, được bái làm Thái phó nhưng ông tám lần từ không nhận[1].

Lúc này triều đình nhà Tống gặp phải cuộc nổi dậy của Lý Toàn. Nguyên Toàn trước kia làm thủ lĩnh đội quân Hồng áo tặc một thời hoành hành chấn động Kim quốc, về sau bị đánh bại phải hàng Tống, từng giúp Tống đánh thắng Kim nhiều trận. Về sau Toàn sinh ra kiêu ngạo, giật dây cho Khánh Phúc giết hại chế trí sứ Hoài Đông Hứa Quốc. Tin tức bay về Lâm An, Sử Di Viễn tìm cách vỗ về Lý Toàn, phong cho Từ Hi Tắc là bạn cũ của Toàn làm chế trí sứ mới. Lý Toàn vờ cho giết mấy kẻ loạn đảng. Từ Hi Tắc tiếng là chế trí sứ nhưng việc gì cũng phải nghe Lý Toàn. Bành Nghĩa Bân ở Ân châu căm hận việc làm của Toàn, liền dẫn quân đánh và thắng mấy trận. Nghĩa Bân dâng thư xin diệt hẳn mầm họa. Triệu Phạm ở Dương châu cũng có lời khuyên tương tự, Di Viễn không theo, cứ cố tình dung túng cho Toàn. Bành Nghĩa Bân về sau giao chiến với quân Mông Cổ ở Chân Định và bị giết. Quân Mông Cổ cho quân tiến xuống áp sát sông Hoài. Lý Toàn sai anh là Lý Phúc đến Sở châu xin cứu viện. Sử Di Viễn cho điều Từ Hi Tắc về, phong Lưu Trác làm Hoài Đông chế trí sự. Tổng quản Trung Nghĩa quân ở Vu Thai là Hạ Toàn bị vợ Lý Toàn là Dương thị dụ dỗ đánh Lưu Trác nhưng thất bại phải sang hàng Kim.

Năm 1226, Sử Di Viễn bổ dụng Diêu Dũng làm tri Sở châu kiêm Hoài Đông chế trí sứ. Thực ra thì Diêu Dũng chỉ là bù nhìn trong tay bọn tướng dưới quyền. Lý Phúc dùng kế giết Lưu Khánh Phúc, rồi vay lương thực của Diêu Dũng nhưng không được liền đuổi Dũng. Kể từ khi Sở châu liên tiếp có chuyện, triều đình cho bỏ chức chế trí sứ, không còn khinh Hoài trọng Guang nữa. Năm sau, bọn Quốc An Dụng, Diêm Thông, Vương Nghĩa Thâm và Hình Đức giết Lý Phúc, đuổi Dương thị ra Hải châu. Lý Toàn nghe tin quyết kế trả thù, cùng bọn Mông Cổ đánh Hoài Nam. Quốc An Dụng giết bọn Trương, Hình, đầu hàng Toàn. Sử Di Viễn sai sứ đến nói nếu Toàn không đánh Hoài Nam thì sẽ ban tiết việt. Toàn vờ nghe theo, từ đó chiếm biên cương vùng Hoài, xưng thần với cả Tống và Mông Cổ. Quần thần biết Lý Toàn là người phản loạn, nhưng ngại Sử Di Viễn nên không dám nói. Về sau do thiếu lương thực, Toàn còn cả gan đến cướp lúa ở Lâm An. Do tri Dương châu Thạch Triều Tông cướp lúa, Toàn cho quân đánh Dương châu. Di Viễn thấy nguy nên xin phong Lý Toàn làm Tiết độ sứ hai trấn Chương Hóa, Bảo Khang kiêm Kinh Đông phủ sứ, bãi miễn Thạch Triều Tông, đưa Triệu Phu lên thay. Lý Toàn thừa dịp lấn tới, cho đòi tăng lương tiền cho quân sĩ.

Triệu Phạm, Triệu Quỳ cùng Triệu Thiện Tương căm ghét Lý Toàn. Từ màu hạ năm 1228, Sử Di Viễn bị bệnh nghỉ phép, Trịnh Thanh Chi chủ trương tiêu diệt phản loạn, triều đình liền kết tội Lý Toàn. Toàn giận lắm, đem quân đánh Dương châu. Sử Di Viễn lúc này đã khỏi bệnh, gửi thư cho Toàn đồng ý tăng lương tiền cho 5000 quân, khuyên Toàn về hàng nhưng Toàn không theo. Toàn đưa quân đánh hai châu Thông, Thái rồi đánh tiếp Dương châu. Bấy giờ là mùa đông năm thứ ba Thiệu Định (1230), Lý Toàn vây Dương châu đến tận mùa xuân năm 1231[12]. Tại Lâm An, Sử Di Viễn coi như bí thế, chỉ trông chờ vào biên tướng bên ngoài mà thôi. Một buổi tối nghe tin Dương châu binh bại thành mất, Di Viễn sợ quá, liền mặc áo khoác chạy ra sau, toan nhảy xuống giếng tự tử, may nhờ có người thiếp là Lâm thị ngăn lại. Tuy nhiên cuối cùng Triệu Phạm và Triệu Quỳ đánh bại và giết được Lý Toàn.